[VMware Cloud on AWS] VPC Endpoint経由でS3バケットをコンテンツライブラリとして使ってみた

SDDCが複数ある場合に、S3にデータを置くだけでプライベートなコンテンツ共有ができて便利

#VMware Cloud on AWS

#VMware

#AWS

#Amazon S3

荒平祐次(arap)

2024.03.15

こんにちは、AWS事業本部の荒平(@0Air)です。

VMware Cloud on AWSでは、ISOファイルや仮想マシンファイルなどを一部S3バケットに退避させることで、ワークロードデータストアの容量を節約することができます。

基本的には以下の記事で記載されている方法を用いれば利用できます。
今回はインターネット経由ではなく、VPC Endpoint経由にしたいというご要望もありそうだと思い試してみました。

構成図

本エントリの構成図です。
各リソースはSDDCのあるリージョンで作成します（特に、Lambda関数・S3バケット・VPCエンドポイント）

やってみる

1. S3バケットの準備

今回はCloudShellを使ってS3バケットを準備していきます。
CloudShellにて以下コマンドを実行します。適宜、作成するユニークなバケット名に置き換えてください。

aws s3 mb s3://[bucket-name]
aws s3 ls

作成した後、aws s3 lsまたはGUIでバケットが確認できます。

2. ファイルの配置

vCenterにて利用する予定のファイルを配置します。
今回は、Windows Server評価版のISOを環境で利用するため、例としてSERVER_EVAL_x64FRE_ja-jp.isoをアップロードしました。

3. Lambda関数の設定

コンテンツライブラリでは、仕様上、インデックスファイルを設定する必要があります。
自動でjsonを生成するためのコードがGitHubにて公開されているので、これを利用します。

ランタイムをPython 3.x系で設定したLambda関数を用意し、次の2ファイルをコピー＆ペーストで配置します。

ファイル名は任意ですが、python/sample_lambda_function_for_make_vcsp_2018.py側でインポートの指定があるためファイル名を変更する場合は併せて変更が必要です。

また、Lambda_handler内に記述のmake_vcsp_2018.make_vcsp_s3()を修正します。
make_vcsp_s3('S3バケット名','S3バケット名/フォルダ',False,'リージョン') となるようにします。

import json
import make_vcsp_2018

def lambda_handler(event, context):
    buf = 'Lambda Content Library Handler. '
    try:
        buf = buf + "Event triggered by file: " + event["Records"][0]["s3"]["object"]["key"]
    except:
        print("No event key found.")
        buf = buf + " No S3 event key found."
        return {
            'statusCode': 200,
            'body': buf
        }

    # If we don't filter out .json files, this script keeps firing in a loop.
    # We don't want the script to fire again when the script itself writes JSON files to the bucket.
    # You could also solve this problem by using a suffix filter in the S3 trigger configuration,
    # but you can only have one suffix per trigger. You would have to create a trigger for every
    # possible filetype that might get uploaded to the bucket. 
    filename = (event["Records"][0]["s3"]["object"]["key"]).lower()
    if filename[-5:] == ".json":
        filter_status = "filtered"
    else:
        # Example usage: make_vcsp_2018.make_vcsp_s3('my-library','library-bucket/lib1',False,'us-east-2')
        # Argument description:
        # my-library - name of the library, 
        # library-bucket/lib1 -  S3 bucket name and folder name
        # false - Flag configured not to skip SSL validation
        # us-east-2 - default region
        # We pass the default region directly to the boto library so we don't have to configure environment variables in Lambda
        make_vcsp_2018.make_vcsp_s3('arap-vmc-content-lib','arap-vmc-content-lib/iso',False,'us-east-1')
        filter_status = "unfiltered"
    
    return {
        'statusCode': 200,
        'body': buf,
        'filterStatus': filter_status
    }

修正したら、Lambda関数の実行ロール権限を変更します。
ロール名をクリックし、IAMの画面にジャンプします。

「ポリシーをアタッチ」から、AmazonS3FullAccessや個別に権限を絞ったポリシーを追加します。
※ここでは割愛していますが、Resource句を用いて操作できるバケットを制限するのが望ましいです

次に、関数のトリガーを設定します。S3バケットにオブジェクトが作成(アップロード)されるか、削除される度にインデックスが更新されることが望ましいです。

バケット名を入力し、All object create eventsとAll object delete eventsをイベントタイプに選択します。

4. インデックスファイルの生成を確認

S3バケットにテストファイルを置くなどでLambda関数をキックすると、指定のフォルダ内にitems.jsonとlib.jsonが生成されます。
生成されない場合は、エラーを確認してください。(筆者環境では、たまにタイムアウトエラーが発生したため、Lambdaのタイムアウト値を30秒としました)

（参考）中身はそれぞれ以下のような構造でした。

{
  "vcspVersion": "2",
  "version": "1",
  "contentVersion": "1",
  "name": "arap-vmc-contents-lib",
  "id": "urn:uuid:cdc53e66-e42a-44dd-a7ee-3afceaa23fe7",
  "created": "2024-03-14T17:49Z",
  "capabilities": {
    "transferIn": [
      "httpGet"
    ],
    "transferOut": [
      "httpGet"
    ]
  },
  "itemsHref": "items.json"
}

{
  "items": [
    {
      "created": "2024-03-14T17:48Z",
      "description": "",
      "version": "2",
      "files": [
        {
          "name": "SERVER_EVAL_x64FRE_ja-jp.iso",
          "size": 5205041152,
          "etag": "0633bd249cd4d48f5ce31fad2417b5ed-311",
          "generationNum": 1710436077,
          "hrefs": [
            "iso/SERVER_EVAL_x64FRE_ja-jp.iso"
          ]
        }
      ],
      "id": "urn:uuid:c779a731-2578-40cb-9f5d-c5e439cd94c8",
      "name": "iso",
      "properties": {},
      "selfHref": "iso/item.json",
      "type": "vcsp.other",
      "contentVersion": "2"
    }
  ]
}

5. VPC Endpointの作成

SDDCのあるリージョンに、S3のGateway型 VPC Endpointを作成します。
CloudShellにて以下のコマンドを実行します。VPC IDおよびルートテーブルIDは環境に応じて書き換えてください。
（指定したルートテーブルに自動でルートが追加されます）

aws ec2 create-vpc-endpoint --vpc-id vpc-xxxxxxxxxxxxxxxx --service-name com.amazonaws.us-east-1.s3 --vpc-endpoint-type Gateway --route-table-ids rtb-xxxxxxxxxxxxxxxx

作成すると、VPC Endpoint一覧に表示されます。

続いて、ルートテーブルの確認です。
VPC Endpoint宛てのルート、およびSDDC用ENI宛てのルートが登録されていれば、ルーティングは問題ありません。

6. S3バケットポリシーの設定

手順1で作成したS3バケットのポリシーを追加します。

10行目は作成したS3バケット名、
13行目、VPC Endpointの値は、前手順で作成したVPC Endpointにそれぞれ変更してください。

{
    "Version": "2012-10-17",
    "Id": "S3BucketPolicyForVMCContentsLibrary",
    "Statement": [
        {
            "Sid": "AllowAccessFromVPCe",
            "Effect": "Allow",
            "Principal": "*",
            "Action": "s3:*",
            "Resource": "arn:aws:s3:::arap-vmc-contents-lib/*",
            "Condition": {
                "StringEquals": {
                    "aws:sourceVpce": "vpce-0ccc5f2fbbf2c5366"
                }
            }
        }
    ]
}